Enhanced visualization of dance performance from automatically synchronised multimodal recordings
https://gyazo.com/f5efde7c84750448506368139304b11a
Author
Gowing, Marc and Kell, Philip and O'Connor, Noel E. and Concolato, Cyril and Essid, Slim and Lefeuvre, Jean and Tournemenne, Robin and Izquierdo, Ebroul and Kitanovski, Vlado and Lin, Xinyu and Zhang, Qianni Abstract
The Huawei/3DLife Grand Challenge Dataset provides multimodal recordings of Salsa dancing, consisting of audiovisual streams along with depth maps and inertial measurements. In this paper, we propose a system for augmented reality-based evaluations of Salsa dancer performances. An essential step for such a system is the automatic temporal synchronisation of the multiple modalities captured from different sensors, for which we propose efficient solutions. Furthermore, we contribute modules for the automatic analysis of dance performances and present an original software application, specifically designed for the evaluation scenario considered, which enables an enhanced dance visualisation experience, through the augmentation of the original media with the results of our automatic analyses.
Huawei / 3DLifeグランドチャレンジデータセットは、サルサダンスのマルチモーダルレコーディングを提供します。これには、視聴覚ストリームとデプスマップおよび慣性測定が含まれます。本稿では、サルサダンサーのパフォーマンスの拡張現実ベース評価のためのシステムを提案する。そのようなシステムのための重要なステップは、異なるセンサーからキャプチャされた複数のモダリティの自動の時間的同期です。そこで、効率的な解決策を提案します。さらに、ダンスパフォーマンスの自動分析モジュールを提供し、検討した評価シナリオ用に特別に設計されたオリジナルのソフトウェアアプリケーションを提示します。これにより、オリジナルのメディアに自動分析の結果を追加してダンスの視覚化体験を強化できます。
Source
MM '11 Proceedings of the 19th ACM international conference on Multimedia Pages 667-670
Comments
複数カメラ映像の同期の話入ってる
センサーとかキネクトとかのデータ同期の話
ちゃんと読んでない
URL